Python爬虫之查找自己浏览器headers

Python爬虫查找自己浏览器headers
每个浏览器都有自己的headers,因为headers要模仿你自己的浏览器向网页发送信息。如果使用Python进行爬取页面时,使用了别人的headers可能会导致爬取不到任何数据(因为代码在你自己的电脑运行,所以无法模拟别人的浏览器)。
比如,在进行学习时,或多或少都会参考别人的代码,这时如果你将别人代码中的headers直接复制过来,就可能导致代码运行没有错误,但是就是爬取不到任何数据。
如何查找自己浏览器的headers。
以谷歌浏览器为例——随便打开一个网页,例如打开https://baike.baidu.com/item/乘风破浪的姐姐,右键点击‘检查’或者按F12,出现下图页面。
在这里插入图片描述
点击最上方选项卡中的‘Network’选项,再按F5,在‘name’框中会出现一个选项,点击该选项,在右侧点击‘headers’选项,在最下方找到‘User-Agent:’,粘贴到自己代码即可。如下图
在这里插入图片描述
将User-Agent:粘贴到自己代码headers中即可:

headers = { 
        'User-Agent': 'ozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36'
    }
  • 10
    点赞
  • 36
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
Python爬虫是一种自动化获取互联网信息的技术,它可以帮助我们快速地从网页中提取所需的数据。以下是Python爬虫新手入门教学的步骤: 1. 安装Python和相关库 首先需要安装Python和相关的库,如requests、beautifulsoup4、lxml等。可以使用pip命令来安装这些库。 2. 确定爬取目标 确定需要爬取的目标网站和所需的数据。可以使用浏览器的开发者工具来查看网页的源代码,确定需要爬取的数据在哪个标签中。 3. 发送HTTP请求 使用requests库发送HTTP请求,获取网页的源代码。可以使用get或post方法来发送请求。 4. 解析HTML 使用beautifulsoup4库解析HTML,提取所需的数据。可以使用find、find_all等方法来查找标签。 5. 存储数据 将提取的数据存储到本地文件或数据库中。可以使用csv、json、sqlite等库来存储数据。 以下是一个简单的Python爬虫示例,用于获取豆瓣电影Top250的电影名称和评分: ```python import requests from bs4 import BeautifulSoup url = 'https://movie.douban.com/top250' headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'lxml') movies = soup.find_all('div', class_='hd') for movie in movies: name = movie.a.span.text.strip() rating = movie.parent.find('span', class_='rating_num').text.strip() print(name, rating) ```

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值